Memory Attention
记忆注意力：用token索引记忆替代value投影
🧭 注意力机制 · token memory
提出Memory Attention，以token索引记忆加上下文key构造value，支持归一化折叠与CPU卸载，提升语言建模和下游性能
📌 工作参考价值（4 点）
- 将 token-indexed memory 放到 CPU/SSD 并 prefetch 的思路，可直接迁移到电商/广告场景的大词表、item ID、Semantic ID 等 embedding 存储，降低 GPU 显存占用，适合线上推理降本。
- 用「key + norm(memory)」构造 value 替代独立 value projection，可减少参数和计算；在生成式推荐或用户序列建模中，可以尝试用静态 item/token memory 与上下文 key 相加，保留个性化同时降低 FLOPs。
- 推理时把归一化折叠进 embedding table 的工程技巧，能减少 per-token 计算步骤，对高 QPS 的搜索/推荐在线服务有直接参考价值。
- 论文核心面向 LLM 预训练，业务迁移前需在推荐或 Agent 场景重新验证：token 静态表示对非语言 ID 的适用性、以及 memory 规模与显存/延迟权衡仍需实验。